TestPrism: Rethinking Test Evaluation Beyond a Single Reference
TestPrism：超越单参考的代码测试评估与 TestHelix 改进
🧭 LLM 代码测试生成评估
Nanjing University · Hong Kong Polytechnic University · Tencent
提出 TestPrism 基准与联合成功函数，揭示单参考评估高估测试质量，并用 TestHelix 将联合成功率提升 8.67-9.00 个百分点
📌 工作参考价值（4 点）
- 评估生成式输出（如 query 推荐、文案改写、搜索建议）时，不要只用单一参考做金标准：构建多个有效/无效候选，要求模型同时接受所有有效变体、拒绝所有无效变体，避免指标虚高。
- Agent 工作流中引入「同行交叉验证」：多个模型/策略互相打分、过滤，能提升生成结果的稳健性，可直接用于推荐文案、搜索词等多候选生成场景。
- 借鉴 TestHelix 的递归自我改进：用失败样本构造「错误→修复」对，迭代微调或 self-training，适合用于低资源场景下生成式推荐的冷启动或长尾覆盖。
- 异质合成正负样本的思路可迁移到推荐/搜索的训练数据构建：混合不同来源/策略生成多样化有效和无效样本，增强模型对边界情况的区分能力。